Karlgren trở về châu Âu vào tháng 1 năm 1912, ban đầu trú ở London, rồi Paris, trước khi quay lại Uppsala, nơi ông hoàn thiện luận án tiến sĩ "Études sur la phonologie chinoise" ("Nghiên cứu ngữ âm tiếng Hán") vào năm 1915. Mặc dù luận văn được viết bằng tiếng Pháp, hầu hết các công trình học thuật về sau của ông lại được viết bằng tiếng Anh. Sau khi nhận bằng tiễn sĩ, Karlgren đứng giảng tại Đại học Gothenburg, giữ chức hiệu trưởng từ năm 1931 tới năm 1936.

Năm 1939, Karlgren nối gót Johan Gunnar Andersson và trở thành giám đốc Bảo tàng Cổ vật Viễn Đông (Östasiatiska Museet), chức vụ mà ông đảm nhận đến năm 1959. Viện bảo tàng này được thành lập vào năm 1926 để lưu trữ những khám phá tiền sử tiên phong của Andersson ở Trung Quốc vào thập kỷ 1920, rồi được mở rộng để bao gồm cả những cổ vật trên khắp châu Á với niên đại đa dạng hơn. Karlgren là chỗ quen biết của Andersson trong nhiều năm, đồng thời là người kế tục Andersson làm biên tập viên của tập san bảo tàng Bulletin of the Museum of Far Eastern Antiquities (BMFEA, 1929–) cho tới những năm 1970. Bản thân Karlgren cũng đã xuất bản rất nhiều bài đăng trên tạp chí này.

Năm 1946, Karlgren bắt đầu công kích lĩnh vực diễn giải lịch sử Trung Quốc ở châu Âu thời bấy giờ. Thông qua các nhận xét về lịch sử thời tiền Hán trong bài báo Legends and Cults in Ancient China, ông đã chỉ ra rằng "điểm chung của các luận thuyết này là sự thiếu vắng phương pháp luận phê bình trong việc xử lý tư liệu". Cụ thể, Karlgren phê phán phương cách chắp ghép và diễn giải tư liệu mà không có sự chắt lọc niên đại trong nghiên cứu lịch sử Trung Quốc." Theo cách này mà ta có được những tường thuật lịch sử rất đầy đủ và chi tiết — song chúng thực chất lại là biếm họa của những tường thuật lịch sử minh xác."[10]

Năm 1950, Karlgren được giới thiệu vào công tác tại Học viện Khoa học và Nghệ thuật Hoàng gia Hà Lan.[11]